BIC selection procedures in mixed effects models

We consider the problem of variable selection in general nonlinear mixed-e ets models, including mixed-e ects hidden Markov models. These models are used extensively in the study of repeated measurements and longitudinal analysis. We propose a Bayesian Information Criterion (BIC) that is appropriate for nonstandard situations where both the number of subjects N and the number of measurements per subject n tend to in nity. In this case, the consistency rates of the maximum likelihood estimators (MLE) of the parameters depend on the level of variability designed in the model. We show that the MLE of the population parameters related to subject-speci c parameters are √ N -consistent whereas the MLE of the parameters related to xed parameters are √ Nn-consistent. We derive a BIC criterion with a penalty based on two terms proportional to logN and logNn. Finite-sample properties of the proposed selection procedure are investigated by simulation studies. Key-words: Consistency rate, Nonlinear mixed model, Hidden Markov mixed-e ects model, Variable selection. ∗ Laboratoire de Mathématiques, Université Paris-Sud, France & Popix, Inria Saclay Ile-de-France ha l-0 06 96 43 5, v er si on 1 11 M ay 2 01 2 Procédures de sélection de variables de type BIC dans les modèles à e ets mixtes Résumé : Nous nous intéressons au problème de la sélection de variables dans des modèles non-linéaires mixtes généraux, incluant les modèles de Markov cachés à e ets mixtes. Ces modèles sont très utilisés pour analyser des données répétées ou des données longitudinales. Nous proposons un critère BIC (Bayesian Information Criterion) adapté à la situation non-standard de double-asymptotique où le nombre de sujets N et le nombre d'observations par sujet n tendent vers l'in ni. Dans cette situation, les vitesses de convergence des estimateurs du maximum de vraisemblance (EMV) des paramètres dépendent des niveaux de variabilité exprimés dans le modèle. Nous montrons que les EMV des paramètres de population liés aux paramètres spéci ques à chaque sujet sont √ N -convergents tandis que les EMV des paramètres liés aux paramètres sans composante aléatoire sont √ Nn-convergents. Nous en déduisons un critère BIC dont la pénalité est formée de deux termes en logN et logNn. Nous illustrons le comportement de la méthode de sélection de variables proposée par une étude de simulations. Mots-clés : Modèle de Markov caché à e ets mixtes, Modèle non-linéaire mixte, Sélection de variables, Vitesses de convergence. ha l-0 06 96 43 5, v er si on 1 11 M ay 2 01 2 BIC selection procedures in mixed e ects models 3